1.1 LARS

Na początku sprawdźmy jakie wyniki otrzymamy korzystając z gotowej implementacji alogorytmu LARS w R, oraz naszej implementacji w Pythonie.

Rysunek 1: Zmiana parametrów \(\beta\) w zależności od iteracji. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

Rysunek 1 przedstawia jak zmieniały się parametry obu modeli w kolejnych iteracjach. Możemy zauważyć, że dla tych danych wykresy są identyczne, a każdy z modeli wykonał 10 iteracji. Dokładne zmiany wartości współczynników \(\beta\), w obu implementacjach możemy obserwować w Tabeli 1 oraz 2.

Powyższe tabele jednoznacznie upewniają nas, że otrzymane wynik są zgodne z tym co uzyskujemy, korzystając z gotowych rozwiązań.

Tak jak zostało wspomniane wcześniej, algorytmy przeprowadziły 10 iteracji. Wynika to z faktu użycia warunku zatrzymującego jego działanie, którym w tym przypadku jest zawarcie wszystkich możliwych zmiennych w zbiorze aktywnym.

Porównanie czasu wykonania

Jeśli chodzi o czas wykonania, to nasz algorytm wypada gorzej niż ten zaimplementowany w języku R. Wynika to z faktu, że gotowa funkcja w R zawiera wiele modyfikacji usprawniających obliczenia, które nie były zawarte w oryginalnej pracy przedstawionej przez Efron et al.

1.2 LASSO

Na tych samych danych ponownie dopasujemy model regresyjny, tym razem wprowadzając modyfikację LASSO.

Zbadamy zmianę współczynników \(\beta\). Wyniki analizy przedstawione są na Rysunku 2. Jak pokazują poniższe wykresy, w tym przypadku wykonanych zostało 12 iteracji. Wiąże się to z faktem, iż jedna ze zmiennych kolejno w iteracji 10 oraz 11 przyjmuje wartość zero (tym samym jest usuwana ze zbioru aktywnego). Mimo to, w ostatniej dwunastej iteracji, zmienna ta ponownie włączana jest do zbioru aktywnego. Algorytm zostaje przerwany w następnym powtórzeniu pętli ze względu na wzrost wartości błędu średniokwadratowego.

Rysunek 2: Zmiana parametrów \(\beta\) w zależności od iteracji w modelu LASSO. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

Jak wynika z Tabeli 4, w której możemy obserwować dokładne wartości parametrów modelu, zmienną, która została wyrzucona ze zbioru aktywnego, jest HDL, odpowiadająca za poziom cholesterolu u pacjenta.

Porównanie czasu wykonania

Tabela 5 przedstawia średni czas wykonania obliczeń. W obu przypadkach czas ten wzrósł, co oczywiście wynika z konieczności przeprowadzenia dodatkowych dwóch iteracji, jednak ich stosunek długości działania nadal pozostaje podobny.

2.1 LARS

Ze względu na mnogość zmiennych objaśniających, wykres przedstawiający zachowanie parametrów modelu może okazać się mało czytelny, jednak w łatwy sposób pozwala nam to określić, że rozwiązania uzyskane w wyniki dwóch implementacji są takie same.

Rysunek 3: Zmiana parametrów \(\beta\) w zależności od iteracji w modelu LARS. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

Poniższy rysunek ponownie pokazuje, że sprawdzane implementacje zwracają takie same wyniki dla dużych zbiorów.

Rysunek 4: Wartości parametrów otrzymanego modelu regresji

Porównanie czasu wykonania

Dla modelu, który zbudowany jest z dużej ilości zmiennych, różnice w czasie zmieniają się znacząco, przez co z początkowego niemal 6 krótszego czasu wykonania dla implementacji w języku R, dla tego zbioru otrzymujemy wyniki, w których implementacja w języku Python jest wydajniejsza, co przekłada się na niemal 0,4 sekundy różnicy w średnim czas wykonania.

2.2 LASSO

Wywołanie algorytmów z uwzględnieniem kroku LASSO skutkuje otrzymaniem 135 iteracji

Ze względu na ilość zmiennych objaśniających, wykres przedstawiający zachowanie parametrów modelu może okazać się mało czytelny, jednak w łatwy sposób pozwala nam to określić, że rozwiązania uzyskane oboma implementacjami dają takie same rezultaty.

Rysunek 5: Zmiana parametrów \(\beta\) w zależności od iteracji w modelu LASSO. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

Porównanie parametrów obu modeli stworzonych przy pomocy alorytmu LARS i jego modyfikacji LASSO, przedstawione jest na Rysunku 6., gdzie widzimy, iż mimo że rozwiązanie z krokiem LASSO potrzebowało niemal 50 iteracji więcej, końcowe parametry modelu są identyczne.

Rysunek 6: Wartości parametrów otrzymanego modelu regresji

Ciekawym zatem wydaje się porównanie jak zmieniał się błąd średniokwadratowy w czasie iteracji tymi dwoma metodami.

Jak pokazuje Rysunek 7. w pierszwych iteracjach zachowują się tak samo, co oznacza, że wtedy nie nastąpiło wyrzucenie zmiennych ze zbioru aktywnego. Obie metody zmierzają do wartości, ok. 1493 (zaznaczonej przerywaną linią), jednak w przypadku modelu LARS, zbieżność jest szybsza.

Rysunek 7: Wartości błędu średniokwadratowego w kolejnych iteracjach dla kroków LARS i LASSO

Porównanie czasu wykonania

W tym przypadku ponownie możemy wysnuć wniosek, że nasza implementacja zapewnia krótszy czas działania o ok. 0,4 sekundy w porównaniu do funkcji w języku R.

3.1 LARS

Pierwszą bardzo istotną zmianą w kontekście pozostałych modeli jest występowanie zmiennych współliniowych. Oznacza to, że wartość korelacji wyliczana w kolejnych iteracjach dla takich zmiennych będzie bardzo zbliżona. Modyfikacją, którą zaobserwowaliśmy w implementacji R, a nie została opisana w oryginalnej pracy, na której oparta jest nasze rozwiazanie, jest wzięcie wszystkich zmiennych, których korelacja z aktualnymi residuami znajduje się w odległości nie większej niż ustalona wartość \(\epsilon\). W naszym przypadku wartość ta wynosi \(10^{-6}\). Wszystkie zmienne z tego przedziału, zostają trwale usunięte ze zbioru nieaktywnego, oprócz jednej, która następnie trafia do zbioru aktywnego. Tym sposobem w kolejnych iteracjach, odrzucane są następujące zmienne:

• [48, 49, \(\ldots\), 58]

• [77, 78, \(\ldots\), 87]

• [19, 20, \(\ldots\), 29]

Rysunek 8: Zmiana parametrów \(\beta\) w zależności od iteracji w modelu LARS. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

W przeciwieństwie do pozostałych przypadków, wykres pokazujący zmianę parametórw \(\beta\) jest różny dla dwóch implementacji. Jednak z analizy końcowych wartości parametrów wynika, że modele te nie odbiegają bardzo od siebie.

Rysunek 9: Wartości parametrów otrzymanego modelu regresji

Rysunek 10: Wartości błędu średniokwadratowego w kolejnych iteracjach dla implementacji w R i Python

Analiza wykresu zmiany błędu średniokwadratowego dla kolejnych iteracji pokazuje, że poczatkowo dopasowywanie modelu przebiegało podobnie, następnie około 30 iteracji, występuje rozbieżność. Wartym uwagi jest fakty, że dla naszego modelu w Pythonie końcowa wartość MSE jest niemal identyczna jak ta uzyskana funkcją w R, jednak nasz model zawiera 10 zmiennych mniej, co jest bardzo ważne z punktu widzenia generalizacji rozwiązania.

Porównanie czasu wykonania

Ponownie mamy do czynienia z sytuacją, w której liczba obserwacji nie jest duża. Skutkuje to, zgodnie z naszymi wcześniejszymi obserwacjami tym, że czas wykonywania obliczeń jest krótszy dla R. Taki zbiór danych pozwolił na uzyskanie tylko 3-krotnej różnicy w czasie wykonania, co w porównaniu do zbioru diabetyków, jest zmniejszeniem dwukrotnym stosunku czasów wykonania.

3.2 LASSO

Również w przypadku wersji LASSO tej implementacji obserwujemy podobne zachowanie algorytmu, gdzie trwale usuwane są niektóre ze zmiennych.

Rysunek 11: Zmiana parametrów \(\beta\) w zależności od iteracji w modelu LASSO. Po lewej wyniki uzyskane z implementacji w języku Python, po prawej w R

Tym razem końcowym rezultatem w obu przypadkach jest model, zawierający te same zmienne, jednak wartości parametrów różnią się (co możemy obserwować na wykresie poniżej).

Rysunek 12: Wartości parametrów otrzymanego modelu regresji

Różnice także widoczne są w czasie procesu dopasowania modelu, gdzie między 9 a 43 iteracją występowały rozbieżności co do wartości błędu średniokwadratowego. Mimo to, w ostatniej iteracji obu algorytmów, wartości te są bardzo zbliżone.

Rysunek 13: Wartości błędu średniokwadratowego w kolejnych iteracjach dla implementacji w R i Pythonie

Porównanie czasu wykonania